Cha anh sinh ra và lớn lên ở Thượng Hải còn mẹ anh là người gốc Quảng Đông.[5] Cha mẹ anh thuộc thế hệ những người đầu tiên di cư từ Hồng Kông sang Úc.[6]

Cha anh là Billy Tao (Đào Tượng Quốc) (tiếng Trung: 陶象國) làm bác sĩ nhi khoa, mẹ anh là Grace Tao, tốt nghiệp ngành vật lý và toán học của Đại học Hồng Kông, từng là giáo viên dạy toán cấp 2 ở Hồng Kông.[7]

Tao có hai anh em trai đang sống tại Úc, đều từng đại diện chủ nhà Úc tham dự Olympic Toán học Quốc tế.

• Nigel Tao từng làm trong nhóm phát triển tại Google Australia sáng tạo Google Wave. Anh hiện đang làm việc cho ngôn ngữ lập trình Go.[8]
• Trevor Tao có hai học vị về toán học và âm nhạc và còn có mặt trong một cuốn sách về những người mắc hội chứng bác học.[8]

Tao nói được tiếng tiếng Quảng Đông nhưng không biết viết chữ Hán và không nói được tiếng Phổ thông.

Anh sống cùng với vợ Laura (làm kỹ sư tại Phòng Thí nghiệm Sức đẩy Phản lực của NASA)[9] và các con trai và con gái sống ở Los Angeles, California.